压缩预训练的深度神经网络的任务吸引了研究社区的广泛兴趣,因为它在使从业人员摆脱数据访问要求方面的巨大好处。在该域中,低级别的近似是一种有前途的方法,但是现有的解决方案被认为是限制的设计选择,并且未能有效地探索设计空间,从而导致严重的准确性降解和有限的压缩比达到了有限。为了解决上述局限性,这项工作提出了SVD-NAS框架,该框架将低级近似和神经体系结构搜索的域结合在一起。 SVD-NAS通用并扩展了以前作品的设计选择,通过引入低级别的建筑空间LR空间,这是一个更细粒度的低级别近似设计空间。之后,这项工作提出了基于梯度的搜索,以有效地穿越LR空间。对可能的设计选择的更精细,更彻底的探索导致了CNN模型的参数,失败和潜伏期的提高精度以及降低。结果表明,在数据限制问题设置下,SVD-NAS的成像网上的精度比最新方法高2.06-12.85pp。 SVD-NAS在https://github.com/yu-zhewen/svd-nas上开源。
translated by 谷歌翻译
检测到分布(OOD)数据的能力在深度学习的安全至关重要的应用中很重要。目的是使用从深神经网络中提取的不确定性量度分离训练分布中的分布(ID)数据。深层合奏是一种公认​​的方法,可以提高深神经网络产生的不确定性估计的质量,并且与单个模型相比,已证明具有优异的OOD检测性能。文献中现有的直觉是,深层预测的多样性表明分布转移,因此应使用多样性(MI)等多样性的衡量标准进行OOD检测。我们通过实验表明,与某些OOD数据集中的单模熵相比,使用MI导致MI导致95%fpr@95较差30-40%。我们建议对Deep Sembles更好的OOD检测性能的替代解释 - OOD检测是二元分类,我们正在分类分类器。因此,我们表明,通过平均特定于任务的检测分数,例如整体上的能量,可以实现更深入的合奏。
translated by 谷歌翻译
检测到分布(OOD)数据是一项任务,它正在接受计算机视觉的深度学习领域越来越多的研究注意力。但是,通常在隔离任务上评估检测方法的性能,而不是考虑串联中的潜在下游任务。在这项工作中,我们检查了存在OOD数据(SCOD)的选择性分类。也就是说,检测OOD样本的动机是拒绝它们,以便降低它们对预测质量的影响。我们在此任务规范下表明,与仅在OOD检测时进行评估时,现有的事后方法的性能大不相同。这是因为如果ID数据被错误分类,将分布分配(ID)数据与OOD数据混合在一起的问题不再是一个问题。但是,正确和不正确的预测的ID数据中的汇合变得不受欢迎。我们还提出了一种新颖的SCOD,SoftMax信息保留(SIRC)的方法,该方法通过功能不足信息来增强基于软疗法的置信度得分,以便在不牺牲正确和错误的ID预测之间的分离的情况下,可以提高其识别OOD样品的能力。在各种成像网尺度数据集和卷积神经网络体系结构上进行的实验表明,SIRC能够始终如一地匹配或胜过SCOD的基线,而现有的OOD检测方法则无法做到。
translated by 谷歌翻译